Pada 31 Oktober 2005, beliau telah dilantik menjadi ketua setiausaha kabinet dalam kabinet Kouzumi menggantikan Hiroyuki Hosoda. Pada 20 September 2006, Abe Shinzo dilantik sebagai presiden Parti Demokrat Liberal (LDP). Calon lain ialah Sadakazu Tanigaki dan Taro Aso. Mulanya Yasuo Fukuda turut ingin bertanding tetapi akhirnya menarik diri. Mantan Perdana Menteri Jepun Yoshiro Mori dan Fukuda sendiri memberi sokongan penuh untuk memilih Abe Shinzo sebagai Perdana Menteri Jepun. Pada 26 September 2006, Abe Shinzo akhirnya dilantik sebagai Perdana Menteri Jepun dengan 339 475 undi dalam Dewan Rendah dan majoriti kukuh di Dewan Parlimen.

Pada 12 September 2007, hanya tiga hari selepas sesi parlimen dimulakan, Abe mengumumkan hasratnya meletakkan jawatan sebagai Perdana Menteri dalam satu sidang akhbar tidak dirancang.[4][5] dengan memberi alasan tindakannya menghalang sebuah undang-undang anti-pengganasan - antaranya melibatkan operasi tentera Jepun di Afghanistan - daripada diluluskan, seterusnya menjadikan tidak disenangi rakan sejawat yang lain. Pegawai-pegawai dari parti yang diwakilinya turut memberi alasan bahawa beliau mengalami masalah kesihatan yang teruk.[6] Pada 26 September 2007, Abe menamatkan penggalnya sebagai Perdana Menteri Jepun dan jawatannya diambil alih oleh Yasuo Fukuda.

Beliau kemudiannya mendedahkan bahawa penyakit yang menyebabkannya menamatkan penggal pertamanya sebagai Perdana Menteri ialah kolitis ulseratif, namun beliau sembuh setelah mendapat sejenis ubat bernama Mesalazine yang merawat penyakit tersebut, di mana ia sebelum ini tidak dapat diperolehi di Jepun.[7]